http://www.arocmag.com/article/02-2019-12-051.html 9 计算 机 应 


自 适 应 尺度 特征 融合 与 模型 更 新 的 跟踪 算 ; 


青岛 理工 大 学 信息 与 控制 工程 学 院 ， 山 东 省 青岛 市 266520) 


摘 要 : 在 核 相关 滤波 器 跟踪 算法 中 ， 为 了 减少 背景 相似 物 等 杂 波 对 跟踪 器 的 干扰 ， 以 及 解决 不 同 跟踪 结果 置信 度 下 
的 模型 更 新 闻 题 ， 提 出 了 自 适 应 尺度 特征 融合 与 模型 更 新 的 跟踪 算法 。 过 多 特征 融合 和 尺度 变化 策略 改进 了 多 特征 的 
尺度 核 相关 滤波 器 ， 使 用 多 峰 检测 对 响应 图 的 整体 振荡 程度 进行 判断 ， 再 对 峰值 进行 跟踪 结果 置信 度 评 估 ; 在 遮挡 、 
形变 等 跟踪 结果 置信 度 低 的 情况 下 及 时 停止 模型 更 新 ， 在 高 置信 度 模 型 更 新 时 ， 引 入 初始 模型 进行 对 齐 操作 ， 减 少 模 
型 的 更 新 误差 ， 抑 制 模 型 漂移 。 比 较 核 相关 滤波 器 算法 ， 本 算法 准确 度 较 高 ， 且 在 目标 尺度 变化 、 人 遮挡 和 形变 时 稳定 

性 更 好 。 在 OTB-50 数据 集 上 的 实验 结果 表明 ， 本 算法 在 精度 和 成 功率 上 都 比 核 相 关 滤 波 器 算法 表现 更 优 。 
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Self-adaptive scale feature fusion and model update tracking algorithm 
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Abstract: In the kernel correlation filter tracking algorithm, in order to reduce the interference of background similarity and 
other clutter to the tracker, and to solve the problem of model updating under the different confidence degree of tracking results. 
This paper proposes a self-adaptive scale feature fusion and model update(SFMU) tracking algorithm. Through multi-feature 
fusion and scale variation strategy to improve the multi-feature scale kernel correlation filter, using multi-peak detection judged 
the overall oscillation degree of response map, then to evaluate the confidence degree of the tracking result. The algorithm 
stopped updating model timely in the case of low confidence of the tracking results such as occlusion and deformation. In the 
high confidence model update, the algorithm introduced the initial model to the alignment operation to suppress model drift. 
Therefore, compared with the kernel correlation filter algorithm, our algorithm is more accuracy, and the stability is better in the 
target of scale variation, occlusion and deformation. The experimental results on the OTB-50 dataset show that the precision and 
success rate of the proposed algorithm are better than those of kernel correlation filter algorithm. 

Key words: multi-feature fusion; scale kernel correlation filter; multi-peak detection; high confidence; model update; suppress 
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下 structure of tracking-by-detection with kerelCSK)P 和 核 相 关 滤 

0 引言 波 器 的 快速 跟踪 算法 Bl(high-speed tracking with kernelized 

标 跟踪 是 目前 计算 机 视觉 领域 的 热点 研究 方向 之 一 ， 在 correlation filters，KCF)，KCF 算法 利用 循环 矩阵 的 特性 ， 将 计 

军事 、 智 慧 城市 等 实际 应 用 中 有 着 重要 的 作用 。 随 着 人 工 智 能 算 转 换 到 傅 里 叶 域 中 进行 ， 同 时 使 用 改进 的 多 通道 梯度 方向 直 
技术 的 发 展 ， 在 近 十 年 里 ， 目 标 跟踪 算法 也 有 着 极 大 的 进步 。 方 图 (HOG) 代 替 单 通道 的 灰 度 特征 。 

2010 年 ，Bolme 在 目标 跟踪 领域 中 首次 运用 相关 滤波 的 知 之 后 ,涌现 了 许多 性 能 良好 的 相关 滤波 类 算法 , 如 Danelljan 


识 ， 提 出 了 相关 滤波 器 的 最 小 平方 误差 和 输出 的 跟踪 算法 提出 的 自 适 应 颜色 特征 实时 跟踪 算法 由 (adaptive color attributes 


mminimum output sum of squared error MOSSE)， 其 展示 出 了 for real-time visual tracking)， 利 用 将 RGB 颜色 空间 细 化 的 黑 、 
惊人 的 跟踪 速度 , 同时 提出 了 PSR 跟踪 结果 置信 度 的 水 平 评估 ， ” 蓝 、 棕 、 灰 、 绿 、 橙 、 粉 、 紫 、 红 、 白 和 黄 11 种 颜色 空间 
得 到 了 广泛 的 认可 和 研究 。 后 来 Henriques 在 其 基础 上 使 用 密 蔡 梯度 方向 直方 者 述 目标 。 以 及 Danelljan 提出 的 有 


来 代 
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样 和 核 函 数 , 提出 了 循环 结构 的 核 跟踪 检测 算法 (circulant 好 的 尺度 策略 的 跟踪 算法 [5] (accurate scale estimation for robust 
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visual tracking, DSST)， 专 门 训练 了 一 个 类 似 MOOSE 滤波 器 去 岭 回 归 分 类 器 训练 好 之 后 ， 对 新 输入 的 图 像 z 与 目标 样本 
检测 尺度 变化 ， 让 目标 的 尺度 检测 和 位 置 检测 分 开 进 行 。 集 的 快速 检测 ， 得 到 响应 图 : 
Possegger 提出 的 颜色 统计 特征 方法 (DAT，in defense of color- f(z)=R oa (3) 
base model-free tracking)Ig， 统 计 前 景 和 背景 区 域 的 颜色 直方 图 1.2 多 特征 的 尺度 核 相 关 滤 波 器 

归 一 化 , 利用 贝 叶 斯 方法 判别 概率 。Bertinetto 提出 将 模板 特 岭 回 归 分 类 器 中 提取 的 目标 特征 向 量 X 是 对 目标 的 描述 ， 
征 方法 DSST 和 颜色 统计 特征 方法 DAT 相 结 合 的 ” 也 是 决定 跟踪 精度 的 重要 条 件 ， 但 仅仅 提取 单一 特征 具有 局 限 


Staple(complementary learners for real-time tracking) 算 法 [1。 而 在 性 ， 本 文 使 用 颜色 特征 “CN) 融合 方向 梯度 直方 图 (fHOG)。 
长 时 间 跟 踪 方 面 ，Ma Chao 提出 了 基于 相关 滤波 的 跟踪 算法 ”其 中 fHOG 属于 梯度 特征 ， 对 运动 模糊 、 光 照 变 化 等 情况 下 描 
[sl(long-term correlation tracking, LCT)， 在 一 个 平移 滤波 器 和 一 ” 述 效 果 较 好 ， 但 对 快速 形变 、 快 速 运动 描述 效果 不 佳 ， 而 目标 
个 尺度 滤波 器 的 基础 上 ， 再 加 了 负责 检测 目标 置信 度 滤波 器 的 ”的 颜色 特征 对 于 形变 不 敏感 ， 所 以 颜色 特征 与 梯度 特征 可 以 互 
检测 机 制 。 近 三 年 来 ， 深 度 学 习 开始 应 用 到 跟踪 中 ，B Han 提 ” ” 补 ， 有 效 的 提高 了 算法 鲁 棒 性 。 本 文 使 用 31 维和 但 OG 和 10 维 
出 结合 深度 学 习 的 MDNet 算法 外 和 Danelljan 提出 的 以 VGG- ”CN 以 及 1 维 原始 的 灰 度 特征 融合 的 和 2 维 的 多 通道 特征 ， 见 图 
Net 卷 积 神经 网 络 为 基础 , 提取 目标 深度 特征 的 ECO 算法 [9 等 1。 
是 深度 学 习 方法 中 性 能 优良 的 算法 。 姑 为 KCF 算法 固定 模板 的 原因 , 所 以 要 处 理 目标 的 尺度 变 
目前 跟踪 领域 主要 分 成 相关 滤波 类 和 深度 学 习 类 ， 后 者 的 。 化 ， 首 先 要 构建 目标 的 多 尺度 图 像 ， 如 图 2， 然 后 分 别 密集 采 
算法 精度 较 高 ， 但 是 速度 慢 ， 一 般 情 况 下 较 难 实现 实时 。 所 以 ” 样 后 再 提取 描述 目标 外 观 模型 的 多 通道 特征 去 训练 岭 回 归 分 类 
本 文 的 研究 方向 为 相关 滤波 类 算法 。 但 是 KCF、CN 算法 无 法 。 器 ,得 到 目标 的 多 尺度 模型 ， 选 取 其 中 最 优 尺度 模型 的 目标 位 


处 理 目 标尺 度 变 化 ,Staple 算法 中 融合 了 HOG 和 颜色 特征 , 但 置 和 斥 度 大 小 [1。 


特征 较为 复杂 , DSST 算法 中 引入 了 尺度 策略 , 但 跟踪 不 稳定 ， 
S15 fhocrs4s$ 有 E 
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难以 较 长 时 间 跟 踪 ，LCT 算法 虽 可 以 较 长 时 间 的 跟踪 目标 ,但 
于 过 多 的 滤波 器 导致 跟踪 过 程 较 复杂 。 所 以 本 文 提 出 一 种 自 
适应 尺度 特征 融合 与 模型 更 新 的 跟踪 算法 (SFMU )， 对 多 特征 
的 尺度 核 相 关 滤 波 器 检测 到 的 最 优 尺度 模型 响应 图 进行 多 峰 检 


测 和 PSR 置信 度 评 估 的 振荡 程度 分 析 , 判断 跟踪 结果 的 置信 度 
水 平 ， 同 时 在 模型 更 新 时 加 入 初始 模型 以 抑制 模型 漂移 ， 并 在 
OTB-50 数据 集 00 上 验证 了 算法 的 有 效 性 。 


了 三 汪 池 给 10 维 = 地 和 E 

1 ， 多 特征 的 尺度 核 相关 滤波 器 ee 
1.1 核 相关 滤波 器 

核 相 关 滤 波 器 算法 的 思想 是 利用 循环 位 移 密集 采样 以 丰富 
目标 样本 ， 用 得 到 的 样本 集训 练 岭 回 归 分 类 器 ， 同 时 通过 循环 
矩阵 对 角 化 的 性 质 ， 使 用 快速 傅 里 叶 变 换 转换 到 频 域 加 速 计算 
[三 ， 利 用 训练 出 的 分 类 器 ， 对 新 输入 的 图 像 比 较 计 算 相 关 性 ， 
得 到 新 输入 的 图 像 与 之 前 帧 图 像 间 的 置信 度 响 应 图 ， 最 后 选取 
响应 峰值 作为 预测 目标 的 位 置 。 

岭 回 归 分 类 器 的 目标 是 找到 函数 f(z)=W'z 使 得 误差 目 
标 函 数 最 小 ， 通 过 最 小 二 乘法 求解 : 


min CCo) -y+ (1) 图 2 标的 多 尺度 图 
, 多 尺度 核 相关 滤波 器 的 具体 步 又 如 下 : 
而 核 相关 滤波 器 ， 引 入 了 核 函 数 ， 通 过 非 线 性 映射 函数 a) 根据 第 一 帧 图 像 , 确定 图 像 初始 化 的 大 小 5, = (5,,5,) ; 
b) 设置 图 像 尺度 变化 幅度 的 i 个 尺度 因子 向 量 factor ， 其 
w=2.09(*) 将 线性 映射 成 非 线性 ， 从 一 维 转换 到 高 维 空间 中 ， 站 
| 中 的 元 素 factor ; 
最 终 得 到 傅 里 叶 空 间 中 的 解 : factor, =1+ Qi;i=0,1,.…,2n+1 (4) 
2 @) 其 中 : 尺度 变化 的 步 长 ke (0,1) ， 加 号 代表 着 尺度 变 大 ， 减 号 
Eth 则 是 尺度 减 小 ， 尺 度 变 化 总 次 数 为 24+1 ， 当 factor =1 时 尺度 


其 中 : 参数 工 为 目标 特征 向 量 ，% 为 目标 滤波 器 模型 。 不 变 ; 
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9 利用 双 线 性 插值 9， 根 据 设 置 的 尺度 因子 factor ， 对 新 
输入 的 图 像 进 行 尺 度 变 化 ， 得 到 多 尺度 图 像 池 
{factor * S, | factor: € factor}; 

d) 使 用 固定 大 小 的 采样 框 分 别 对 多 尺度 图 像 进行 目标 玉生 
这 样 通过 对 图 像 的 放 缩 得 到 目标 的 多 尺度 图 ， 再 密集 采样 得 到 
标的 多 尺度 样本 集 ; 

e) 根据 目标 的 多 尺度 样本 集 , 训练 多 尺度 的 岭 回 归 目 标 模 


pa 


= ;i=0,1,.….2n+1 (5) 
Ca 图 3 跟踪 中 的 多 峰 响应 图 
其 中 : 你 是 多 尺度 的 目标 模型 ， 久 和 Kk 中 上 标 i 是 对 应 的 尺 姑 此 ， 本 文 首先 引入 基于 响应 图 的 多 峰 检测 9， 判 断 响应 
度 ，x 是 目标 的 特征 ，z 是 待 检测 的 图 像 ; 图 的 整体 振荡 程度 。 首 先 就 是 把 响应 图 中 大 于 阔 值 9 的 峰 筛 选 
f) 根据 &' 快速 计算 出 最 优 尺 度 模 型 : 出 来 ， 构 建 多 峰 和 矩阵 P : 
7 OO- 人 Oi 0 hntl i | P=f(z)°B (7) 
arg max f'(z) 其 中 : f(z') 是 多 尺度 核 相 关 滤 波 器 检测 得 到 的 最 优 模型 响应 
g) 更 新 分 类 器 中 的 目标 模型 & 和 目标 特征 x ,具体 更 新 策 图 ，B 是 一 个 只 有 0 和 1 元 素 与 响应 图 具有 相同 大 小 的 矩阵 ， 
略 见 下 文 。 符合 条 件 的 峰 为 1， 其 他 的 为 0， 得 到 多 峰 和 矩阵 PP。 根 据 PP 中 
本 文 结合 多 通道 特征 与 自 适应 尺度 策略 最 终 形成 多 特征 的 多 峰 的 位 置 ， 建 立 搜索 区 域 ， 进 行 二 次 检测 ， 取 其 中 响应 值 最 
尺度 核 相 关 滤 波 器 。 大 的 为 这 一 帧 的 峰值 。 
多 峰 检 测 通 过 对 响应 图 的 整体 的 振荡 情况 的 判断 ， 尽 可 能 


N 


2 履 进 的 模型 更 糊 案 隆 判断 出 背景 中 是 否 存 在 着 相似 杂 波 ， 再 分 别 进行 二 次 检测 取 最 
在 目标 跟踪 中 ， 模 型 漂移 是 模型 更 新 中 的 挑战 之 一 ， 而 模 ”大 响应 值 作为 当前 帧 的 峰值 ， 然 后 要 对 检测 到 的 峰值 进行 信息 
型 漂移 出 现 的 原因 主要 有 以 下 两 点 :a) 当 背景 中 有 相似 物 杂 波 ”的 置信 度 检测 。 首先 定义 当前 峰值 为 5, ,当前 帧 之 前 的 峰值 集 
的 干扰 和 目标 在 遮挡 、 形 变 等 低 置 信 度 情况 下 ， 跟 踪 器 对 结果 ” 合 表 示 为 ={51i=12.… 
不 作 处 理 ， 模 型 更 新 时 会 将 结果 中 的 噪声 带 入 模型 ，b) 在 每 次 
检测 后 会 有 或 多 或 少 的 检测 误差 ， 随 着 模型 更 新 的 进行 会 产生 本 (8) 
更 新 误差 ， 最 终 累 积 的 更 新 误差 会 导致 跟踪 精度 下 降 。 

所 以 本 文 主要 在 KCF 算法 的 基础 上 , 通过 两 个 方面 来 进行 ”其 中 : “为 峰值 集合 F 的 平均 值 ， 当 ,大 于 之 平均 峰值 时 ， 判 
改进 。 一 方面 是 减少 背景 中 相似 物 对 目标 的 干扰 ， 然 后 对 跟踪 ”” 定 峰值 的 置信 度 较 高 ， 这 样 区 分 目标 与 相似 物 ， 减 少 相似 物 对 
结果 的 置信 度 判 断 ， 尽 可 能 的 选择 出 跟踪 置信 度 高 的 结果 ， 而 。 ”跟踪 器 的 干扰 。 

跟踪 结果 置信 度 的 判断 主要 有 两 个 指标 ， 第 一 个 是 最 大 响应 值 。 2.2 峰值 的 置信 度 评估 


t 


即 是 峰值 ， 峰 值 越 大 置信 和 度 越 高 ， 第 二 个 则 是 用 峰值 强度 来 表 多 峰 检测 对 响应 图 的 整体 振荡 情况 进行 了 判断 ， 并 且 确 定 
示 峰 值 周围 振荡 程度 ， 振 荡 幅 度 越 高 置信 度 越 高 。 另 一 个 方面 了 峰值 ， 然 后 通过 对 峰值 的 初步 置信 度 判定 ， 尽 可 能 的 排除 了 
在 置信 度 高 的 情况 下 去 更 新 目标 模型 ， 更 新 过 程 中 考虑 到 难以 ” 背景 相似 杂 波 的 干扰 。 但 是 对 在 目标 遮挡 、 形 变 等 情况 下 的 跟 


避免 的 检测 误差 ， 所 以 引入 目标 的 初始 模型 进行 对 齐 操作 ， 这 。” 踪 结果 置信 度 仍然 未 作 判 断 ， 见 图 4， 在 连续 两 帧 图 像 中 ， 

样 可 以 减少 模型 被 感染 的 同时 还 提升 了 跟踪 速度 。 标的 状态 变化 极 快 ， 迅 速 地 被 干扰 物 和 遮挡， 从 图 中 第 一 个 响应 

1 党 桥 物 测 图 可 以 看 出 ， 有 两 个 距离 很 近 的 波峰 且 峰 值 的 振荡 幅度 较 低 ， 
在 1.2 节 中 检测 出 目标 最 优 尺度 模型 ，KCF 算法 判断 下 一 ”说明 峰值 强度 不 高 ， 有 杂 波 干扰 跟踪 器 ， 所 以 在 男 一 个 响应 图 


顺 中 目标 的 位 置 是 根据 检测 的 模型 响应 图 进行 单 峰 检 测 ， 取 峰 ” 看 出 ， 跟 踪 器 已 经 把 干扰 物 当 成 了 目标 ， 因 此 应 该 及 时 停止 模 

值 的 位 置 即 是 目标 预测 位 置 。 型 的 更 新 。 所 以 若 仅仅 进行 多 峰 检 测 仍然 会 有 不 能 区 分 出 目标 
于 其 他 相似 物 等 噪声 杂 波 的 干扰 所 造成 模型 漂移 ， 会 使 ” 的 情况 。 

目标 模型 被 污染 ， 进 一 步 会 导致 跟踪 失败 。 见 图 3， 绿 色 框 为 通过 多 峰 检 测 初 步 确定 了 峰值 的 位 置 和 跟踪 信息 的 置信 


跟踪 的 结果 ， 而 红色 框 是 目标 的 实际 位 置 ， 这 两 个 位 置 对 应 的 。 情况 ， 所 以 还 需要 根据 峰值 强度 来 进一步 配合 来 表示 跟踪 结果 
响应 值 较 大 且 干 扰 处 的 响应 值 大 于 目标 实际 位 置 ， 这 时 若 让 跟 ” ”的 置信 和 度 水 平 。 为 此 ， 引 入 根据 峰值 强度 判断 跟踪 结果 置信 和 度 
踪 器 根据 峰值 即 是 目标 预测 位 置 的 规则 继续 跟踪 ， 会 因 更 新 误 ”的 PSR 方法 ， 是 在 首次 应 用 相关 滤波 知识 的 MOSSE 算法 中 提 
差 的 累积 而 逐渐 地 丢失 对 目标 的 跟踪 。 出 的 一 种 根据 峰值 周围 11*11 的 窗口 振荡 程度 而 有 效 地 表示 


H 


媚 


wh 810.00018v1 


chinaXiv 


法 019， 


4” 低 置信 和 度 跟 踪 结 

因为 在 相关 滤 ; 
经 过 滤波 器 运算 后 的 响应 图 
么 响应 图 中 峰值 强度 高 ， 波 峰 周 围 
出 峰值 周围 的 振荡 小 的 时 候 可 以 判定 峰值 强度 不 高 。 所 以 PSR 
方法 就 是 通过 对 波峰 的 振荡 幅度 的 判断 来 确定 跟踪 结果 的 置信 
度 高 低 ， 而 且 PSR 方法 的 计算 原理 ， 运 算 量 较 少 ,其 
定义 为 


吉 果 与 响应 
类 算法 的 跟踪 中 ， 若 跟踪 


踪 结 果 良 好 ， 那 么 
呈现 出 高 斯 分 布 的 情况 ， 那 
的 振荡 幅度 大 ， 反 之 当 计算 


会 近似 


可 


区 


简洁 明了 


Bmx 一作 
PSR= 9 
Oo, 09) 


其 中 : 8 为 峰值 , 人 为 窗口 s 的 均值 , 0 为 窗口 s 的 标准 差 。 
若 PSR 值 越 高 则 响应 图 中 的 峰 越 近似 高 斯 分 布 , 说 明 跟 踪 结 果 
越 准确 。 本 文 取 7Y 为 PSR 的 阔 值 ， 当 PSR 大 于 X 时， 表示 跟踪 
结果 峰值 置信 度 高 。 
所 以 当 跟 踪 结果 通 
下 ， 判 定 这 一 帧 的 跟踪 
的 抑制 模型 漂移 操作 。 
2.3 ”抑制 模型 漂移 
前 面 通过 对 响应 图 的 峰值 大 小 及 
当 跟 踪 结 果 的 置信 和 度 水 平 高 时 ， 进 行 目标 模型 更 新 。 针 对 目标 
跟踪 中 不 可 避免 的 模型 更 新 误差 所 造成 的 模型 漂移 问题 ， 本 文 
利用 第 一 帧 的 初始 目标 模型 在 更 新 时 进行 对 齐 操作 [*] 来 抑制 
模型 漂移 。 
首先 用 多 特征 的 尺度 核 相 关 滤 波 器 检测 出 最 优 尺度 模型 ， 
检测 其 响应 图 中 的 峰值 大 小 与 强度 ， 通 过 置信 度 判定 则 取 峰 值 
位 置 为 目标 在 这 一 帧 的 估计 位 置 ,然后 在 这 个 位 置 建 立 搜索 框 ， 


中 


从 检测 ， 且 玉 >x 和 PSR>y 的 情况 
置信 度 高 ， 接 下 来 在 进行 更 新 模型 


四 
个 


过 多 
十 
一 口 


峰值 振荡 幅度 进行 判断 ， 


医 


则 ) 
型 更 新 ; 


d) 


州 


KCF 算法 : 


王 目 实 3 


laal= 


已 作为 目标 在 这 一 帧 


等 : 自 适 应 尺度 特征 融 


Oo —x)” 十 (> 一 切 六 <é 


区 


a=(1-Pa,+Pa. 
光宇 -DT + Bx, 


口 


] 以 不 


因为 


标 在 昌 


上 用 初始 


一 定 的 相似 性 。 
2.4 本 文 算法 流程 


图 


如 


输 


a) 确 定 目 标 在 第 一 帧 
b) 使 / 
多 通 


别提 取 
6 


适应 尺 


1LH 
LT 


标 模型 进行 对 齐 操作 来 抑 融 
R 踪 过 程 中 不 管 怎么 变化 ， 始 终 与 初始 模型 始终 有 


局 


标的 


oa 
V. 


瑟 心 \o 


展示 跟踪 结果 及 精 


区 


道 特 征 ， 最 后 得 到 最 


利 | 


了 多 峰 检 涡 


峰 情 况 ， 如 式 (7) 所 示 。 
d) 若 存在 多 
响应 值 作为 这 一 


1 对 最 优 模 型 


有 度 医 


和 成 功率 


像 中 
j 多 特征 的 尺度 核 相关 滤波 器 获取 多 


的 位 置 。 


| 模型 洒 


(10) 


像 中 的 预测 位 置 , 否则 停止 模 


用 预测 位 置 P 的 模型 参数 去 更 新 模型 ， 更 新 的 方法 同 


(1D) 


移 ， 是 


度 特征 融合 与 模型 更 新 的 跟踪 算法 (SFMU) 流 程 
5 所 示 ， 步 又 如 下 : 
输入 : 视频 序列 和 


尺度 目 


尺度 模型 。 


优 目 标 
向 应 图 


| 


条 


， 对 峰 位 置 


再 进行 


次 检测 ， 


顺 的 由 


分 析 跟 


如 


踪 


六 息 的 团 
日 判断 响应 

式 (9) 所 示 。 
有 通过 式 (8) 的 


条 值 ， 在 根据 式 (8) 对 峰值 大 小 


言 度 。 
可 


双 


口 


件 值 大 小 和 


的 峰值 强度 ， 使 月 


的 整体 振荡 程 


标 ， 


度 关 


分 


断 多 


取 其 中 最 大 
判断 来 初步 


日 PSR 置信 和 度 水 平 评估 ， 


式 (9) 的 PSR 方法 联合 对 跟踪 结 


果 的 置信 度 评 


操作 。 


佑 ， 在 目标 跟踪 


外 在 峰值 处 构建 搜索 框 ， 


已 ， 


和 


b) 没 


实验 分 析 


3 


若 


le 


1 


-| 


1 


<&， 则 用 


通过 PSR 记 


使 用 初始 模型 去 预测 


估 的 峰值 不 更 新 模型 。 


置信 度 高 时 ， 进 行 抑制 模型 漂移 


目标 位 置 


P" 去 更 新 模型 ， 否 则 不 更 新 模型 。 


实验 环境 为 MATLAB R2016b, Windows7 64 bit 操作 系统 ， 


利用 初始 目标 模型 计算 出 目标 的 预测 位 置 ， 如 果 两 个 位 置 之 间 
的 欧 氏 距离 低 于 设 定 的 阐 值 则 更 新 模型 ， 否 则 就 不 更 新 模型 。 
抑制 模型 漂移 的 具体 方法 步 又 如 下 : 

a) 跟踪 器 检测 出 目标 最 优 尺度 模型 , 且 通 
信和 度 水 平 评估 ; 

b) 取 峰 值 为 估计 位 置 ,并 在 处 构建 搜索 框 , 然后 利用 
初始 模型 参数 用 分 类 器 在 搜索 框 重 新 计算 出 目标 预测 位 置 P ; 

c) 如 果 呈 和 Pr 中 心 位 置 之 间 的 欧 氏 距离 小 于 阔 值 = 时 ， 


过 多 峰 检 测 和 置 


Do, 


即 


图 


GB。 实 验 所 使 月 
展示 。 


电脑 配置 为 ，Intel) CoreTM i5-6500 CPU @ 3.20 GHz， 内 存 4 
的 数据 集 是 OTB-50， 且 利用 精度 图 


和 成 功率 


为 了 比较 性 ， 改 进 的 算法 的 主要 参数 与 KCF 算法 保持 


致 。 在 尺度 自 适应 中 ， 


使 用 步 长 0.01 的 3 个 尺度 


大 | 


子 的 


Jactor ={0.99,1,1.01} ， 在 多 峰 检测 中 ， 阐 值 9 为 峰值 的 三 分 之 


= 0=3 Po, 在 峰值 置信 度 评估 中 ，PSR 的 阔 值 了 取 1.8， 
在 抑制 模型 漂移 中 ， 阔 值 = 为 5 个 像素 。 
本 文 实验 总 共 测 试 了 五 个 算法 ， 分 别 是 经 典 算 法 CSK 和 
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录用 定稿 
TLDU731， 尺 度 自 适 应 且 性 能 优良 的 算法 DSST， 基 准 算法 KCF 
和 本 文 的 SFMU 算法 。 
第 1-t 帧 视频 序列 
ee 
| 得 到 多 尺度 图 人 
| 在 峰值 P, 处 建立 搜索 窗 
吉 口 ， 用 初始 模型 来 信 计 
位 置 P” 
| 提取 多 通道 特征 
ee 
一 一 | 训练 分 类 器 | < 
< 
SE PSR>Y Y 
得 到 响应 
| > N 者 陈 得 目标 模型 
| | 用 P. 训 练 得 目标 模型 Me 
多 族 检 出” 确 ] BE 和 更 新 目标 位 置 
认 噬 值 F | 
| | | 
跟踪 置信 度 评估 | | 不 更 新 模型 更 新 模型 
PSR MM Me(1-)Me tn Me 
| 
vv 


图 5 SFMU 算法 的 流程 图 
1) 总 体 性 能 比较 


如 图 6 总体 精度 图 和 图 7 总 体 成 功率 图 所 示 , 本 文 的 SFMU 


算 


二 < 


去 的 精度 为 0.748， 成 功率 为 0.578。 相 比较 KCF 算法 ， 有 着 


显著 提升 ， 其 精度 和 成 功率 分 别提 升 了 10.98% 和 12.45%。 


Precision plots of OPE 


0.9 
sme KCF [0.674] | 加 
08 mr "a" " "we TLD [0.559] 
07 本 mm CSK [0.516] 
攻 Ce 
oo 
二 i 
Se 
中 
“0.5 
0 
4 
CC 0.4 
0.3r 
0.2 
0.1 
0 2 本 , 
0 10 20 30 40 50 
Location error threshold 
业主 
图 6 总 体 精度 图 
Success plots of OPE 
m= SF MU [0.578] 
09 | 号 DSST [0.555] 
o8 mm KCF [0.514] 
、 ee TLD [0.437] 
mm CSK [0.398] 
g QF a ss 
So6- 
只 
图 0.5 
与 04| 
n 
0.3r 
0.2 
0.1 
oL 2, 
0.2 0.4 0.6 0.8 1 
Overlap threshold 
图 7 总 体 成 功率 图 


2) 在 目标 尺度 变化 、 谈 挡 和 形变 下 性 能 比较 


图 8 和 9、 图 


10 和 11、 


图 12 和 13 分 别 是 算法 在 目标 尺 


| 


度 变 化 、 遮 挡 和 形变 下 的 精度 图 和 成 功率 图 。 从 图 中 可 以 看 出 


本 文 的 SFMU 算法 的 精度 和 成 功率 都 是 最 人 


的 , 证 明 对 核 相 关 


滤波 的 改进 


Precision 


Success rate 


Precision 


Success rate 


Precision 


方法 是 可 行 的 。 


Precision plots of OPE - scale variation (28) 


ee SFIMIU [0.703] 
w= DSST [0.675] |。 
mm eae KCF[0.619] 
ee TLD [0.562] 
mm CSK [0.494] 
0 10 20 30 40 50 
Location error threshold 
图 8 尺度 变化 时 的 精度 图 
Success plots of OPE - scale variation (28) 
mw SF MU [0.571] 
0.8 w= DSST [0.542] 
mus KCF [0.427] 
0.7 me TLD [0.421] | 
w— CSK [0.350] 
0.6 上 
0.5 上 
0.4 
0.3 
0.2 
0.1 
0 
0 0.2 0.4 0.6 0.8 1 
Overlap threshold 
图 9 尺度 变化 时 的 成 功率 图 
Precision plots of OPE - occlusion (29) 
me SF MU [0.746] ed 
0.9 ™- KCF [0.675] 
lmaw DSST [0.653] 
op i ee m= TLD [0.518] | 
07 Eg l= _CSK [0.475] 
0.6 | 
0.5 上 
0.4 
0.3 上 
0.2 
作 . 们 下 二 
0 
0 10 20 30 40 50 
Location error threshold 
图 10 遮挡 时 的 精度 图 
Success plots of OPE - occlusion (29) 
m= SF MU [0.584] 
09 m= DSST [0.534] 
oa aasKCF[0.514] 
ee TL D [0.402] 
07 mm CSK [0.365] 
0.6 
0.5r 
0.4 
0.3 上 
0.2 
0.1 
0 , , , nh 
0 0.2 0.4 0.6 0.8 1 
Overlap threshold 
图 11 遮挡 时 的 成 功率 图 
Precision plots of OPE - deformation (19) 
ee SF MU [0.753] 
0.8 | mm KCF [0.671] 
而 aan DSST[I0608] 。 
0.7 上 Am mame TLD [0.469] | 
eeee mm CSK [0.440] 
0.6 上 
0.5 
0.4 
0.3 
0.2 
0.1 


0 10 20 30 40 50 
Location error threshold 


图 12 形变 时 的 精度 图 


201810.00018v1 


chinaXiv 


Success plots of OPE - deformation (19) 


Success rate 


me SF MU [0.581] 
mw KCF [0.534] 
"se DSST [0.510] 
m= TLD [0.378] 
= CSK [0.343] 


0.2 


0.6 0.8 1 
Gvelap threshold 


3) 定性 分 析 
本 文 在 OTB-50 数据 集 上 进行 了 测试 ,图 14 列举 了 CSK、 
TLD、KCF、DSST 和 SFMU 五 种 算法 在 其 中 八 段 视频 序列 (a~h， 
分 别 对 应 着 Walking2、Gym、 Car4、 Tigerl、 Joggingl、CarScale、 
Dogl、David) 中 的 跟踪 结果 ， 这 8 段 视频 序列 特点 如 表 1， 基 
本 上 包括 了 跟踪 过 程 中 面临 的 挑战 。 


13 形变 时 的 成 功率 图 


长 1 八 段 测试 视频 


视频 名 称 ”” 帧 数 特点 
Walking2 500 尺度 变化 、 遮 挡 、 低 分 辨 率 、 背 景 干 扰 
Gym 767 尺度 变化 、 形 变 、 旋 转 
Car4 659 光照 变化 、 尺 度 变化 
光照 变化 、 和 遮挡 、 形 变 、 模 糊 运 动 、 快 速 运 
Tigerl 354 
动 、 背 景 干扰 、 旋 转 
Joggingl 308 遮挡 、 形 变 、 旋 转 
CarScale 253 尺度 变化 、 遮 挡 、 快 速 运动 、 旋 转 
Dogl 1350 尺度 变化 ， 旋 转 
光照 变化 、 尺 度 变 化 、 遮 挡 、 形 变 、 模 糊 运 
David 770 


动 、 旋 转 


针对 尺度 变化 的 情况 ， 见 图 14(a)~(e)(D~(h) 所 示 ， 如 


Walking2 视频 序列 


FP 第 189 帧 、194 帧 、221 帧 和 470 帧 的 跟 


宗 结果 ，SFMTU 算法 对 比 其 他 算法 ， 其 跟踪 框 大 小 一 直 随 着 目 


标尺 度 的 改变 而 改变 ， 有 着 良好 的 尺度 自 适 应 性 ， 


针对 背景 中 存在 相似 干扰 物 、 谈 挡 的 情况 ， 见 图 14(a,，q) 


所 示 ， 如 Tigerl 视频 序列 中 的 第 70 帧 、 第 174 帧 、 第 323 帧 


和 第 334 帧 的 跟踪 结 


标 跟 踪 的 准确 性 较 高 。 


针对 目标 形变 、 
14(a)~(h)。 如 在 Gym 视频 序列 中 第 659 帧 、669 帧 、679 帧 和 


689 帧 的 跟踪 


化 ， 跟 踪 结 果 置 


追踪 目标 。 


吉 果 ，SFMU 算法 对 比 其 他 算法 ， 受 背景 的 
干扰 较 少 ， 以 及 在 遮挡 时 可 以 及 时 停止 模型 更 新 ， 所 以 对 于 目 


旋转 跟踪 结果 置信 度 不 高 的 情况 ， 见 图 


结果 ， 在 这 数 十 帧 间 ， 目 标的 外 观 发 生 了 剧烈 变 
信和 度 不 高 ，SFMU 算法 对 比 其 他 算法 依旧 可 以 


针对 光照 变化 、 低 分 辨 率 、 模 糊 运 动 和 快速 运动 的 情况 ， 


见 图 14(a)(d)。 在 视频 序列 的 跟踪 结果 可 以 看 出 ， 五 种 算法 中 


SFMU 的 跟踪 改 


台 已 园 


E 朋 也 


好 ， 可 以 全 程 稳健 跟踪 。 


ChinaXiv 合 期 刊 


| 
和 王 日 宏 ， 等: 自 适应 尺度 特征 融合 与 模型 更 新 的 跟踪 


(g) Dog1 [#925, 1005, 1160, 1325] 


el 


(h)David[#325, 510, 690, 770] 


一 一 WE 一 DSST 


KCF 


SFMU 


图 14 五 种 算法 的 跟踪 结果 比较 
4 ”结束 语 


nn mn 改进 了 多 特征 尺度 核 相 关 
滤波 器 ， 通 过 对 最 优 尺度 模型 响应 图 的 多 峰 检 测 ， 判 断 整体 的 
振荡 程度 和 对 响应 图 峰值 的 PSR 置信 度 评估 , 提升 了 算法 在 
标 义 度 变化 、 械 挡 、 形 变 等 情况 下 的 鲁 棒 性 ， 同 时 在 模型 更 新 
中 ， 利 用 初始 模型 来 抑制 跟踪 过 程 中 的 模型 漂移 。 本 文 算法 在 
OTB-50 数据 集 上 进行 了 测试 ， 仿 真实 验 结果 表明 跟踪 效果 良 
好 ， 而 且 有 较 好 的 进一步 研究 空间 
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